[レポート] Amazon File Cache でコンピューティング・ワークロードを高速化 #STG218 #reinvent

アノテーション テクニカルサポートの川崎です。

本記事は AWS re:Invent 2022 のセッションレポートとなります。

概要

Amazon File Cache は、ハイブリッド クラウドのワークロードを高速化および簡素化します。 Amazon File Cache は AWS で高速キャッシュを提供し、データがどこに保存されているかに関係なく、ファイル データの処理を容易にします。 このセッションでは、Amazon File Cache を使用して、分散したデータセットを AWS 上のファイルベースのアプリケーションで使用できるようにする方法を学びます。統合されたビューを使用し、サブミリ秒のレイテンシーと最大数百 Gbps のスループットで高速に使用できます。 このサービスは、メディア レンダリングやトランスコーディングからビッグ データ分析に至るまで、ハイブリッド クラウドとバースティング ワークロード向けに設計されています。

セッション動画

クラウドジャーニーにおけるニーズに応えます

• クラウドへバースト
  • Amazon File Cache
• クラウドへ移動
  • Amazon FSx
• クラウドに構築
  • Amazon EFS

クラウドバーストとは

クラウドバーストの課題

短時間ワークロードのためのデータ移行は効率的でない

Amazon File Cache

Amazon File Cache

• オンプレミスのファイルシステムから AWS へのクラウド バーストを簡素化
• ワークロードの実行に必要なデータのみを遅延ロード
• 古いデータセットを自動的に削除することで、ストレージ コストを最小限に抑える
• 最大数百 GB/秒のスループットと数百万の IOPS でパフォーマンスをスケールする
• API を使用してキャッシュを infrastructure as-code としてデプロイ

加えて…

1 つ以上の AWS リージョンを横断して Amazon S3 データセットを統合

• 高速
  • プロジェクトをより迅速に完了し、洞察までの時間を加速
• シンプル
  • ワークフローを変更せずに、オンプレミスのワークロードをクラウドで実行
• 費用対効果が高い
  • ワークロードの実行に必要なストレージコストを最小限に抑制

高速

ケース スタディ:

ファイル キャッシュを使用して、100 個のビデオフレームを 10 倍高速にレンダリング
vs.
オンプレミス ストレージに直接マウント

オンプレミスのストレージとネットワークは、スケーラビリティを制限する可能性がある

ファイル キャッシュはスケーラブルなパフォーマンスを提供

シンプル

ワークフローを変更せずにクラウドにバースト

ファイル キャッシュは、オンプレミスの NFS ファイル システムと統合される

ファイル キャッシュは、ワークロードのデータを自動的にロード

費用対効果が高い

ストレージ リソースを最小限に抑え、使用した分だけ支払い

キャッシュ ストレージ容量を最小限に抑制

容量管理の自動化

キャッシュ コストを最適化するために、コンピューティング リソースと並行してキャッシュを長期的に実行するかスピンダウン

Cajal Neuroscience は Amazon File Cache を使用して洞察を得るまでの時間を加速

メディア & エンターテイメントの視覚効果

AWS での VFX レンダリング

VFX レンダリング

VFX レンダリング

メディア & エンターテイメント用のファイル キャッシュ

• より俊敏な分散レンダリング ワークロード可能に
• グローバル配信からビデオをトランスコード
• 生産実績の加速
• オーバーヘッド コストを削減

• 高速
  • 数百 GB/s のスループット
• シンプル
  • NFSファイルシステムを置き換え
• 費用対効果
  • 1 TB時間あたり1.82ドル

関連セッション

• STG344
  • AWS でハイパフォーマンス ワークロードを高速化
• STG343
  • Amazon FSx で HPC と ML を高速化する方法
• STG401
  • AWS ファイルソリューションで分析ワークロードを最適化